Năm 1863, chính quyền Shogun Tokugawa tổ chức một đội quân lớn các ronin với mục đích bảo vệ shogun Iemochi trong thời gian ông ở Kyoto.[19] Kondō tham gia vào đội quân này, với cái tên Rōshigumi, cùng với người bạn thân Hijikata Toshizō, cũng như các thành viên và khách của Shieikan như Yamanami Keisuke, Okita Sōji, Harada Sanosuke, Nagakura Shinpachi, Tōdō Heisuke, và Inoue Genzaburō. Sau khi chỉ huy thực tế Kiyokawa Hachirō hé lộ mục đích thực sự của họ là những người cấp tiến chống lại chế độ Shogun, Kondō, Hijikata, thuộc hạ cũ của Mito là Serizawa Kamo, và một số ít những người khác ở lại Kyoto và thành lập Mibu Rōshigumi.[20] Hoạt động trực tiếp dưới sự chỉ huy của triều đình Shogun[21], Matsudaira Katamori ở Aizu nhận trách nhiệm giám sát những người này. Dưới sự giám sát ở Aizu, với vai trò là hộ vệ của Kyoto, họ hoạt động như cảnh sát cho đô thành.[22]

Trong sự kiện Kinmon no Seihen ngày 18 tháng 8, đơn vị của ông được ban tặng cái tên Shinsengumi.[23] Tháng 6 (âm lịch) năm 1864, Shinsengumi trở nên nổi tiếng sau sự kiện bắt giữ một nhóm cáp tiến shishi (sự kiện được biết đến với cái tên Ikedaya Jiken, hay sự kiện Ikedaya).[24]

Ngày 10 tháng 7 năm 1867[25], Kondō được phong tước hatamoto, cùng với những người còn lại ở Shinsengumi.[26]